Học tăng cường là gì? Các nghiên cứu khoa học về Học tăng cường

Học tăng cường cung cấp cho robot một khuôn khổ và bộ công cụ cho việc thiết kế những hành vi phức tạp và khó chế tạo. Ngược lại, những thách thức trong các vấn đề robot cung cấp cả nguồn cảm hứng, tác động và xác thực cho các phát triển trong học tăng cường. Mối quan hệ giữa các lĩnh vực này có đủ hứa hẹn để được so sánh với mối quan hệ giữa vật lý và toán học. Trong bài viết này, chúng tôi cố gắng củng cố các liên hệ giữa hai cộng đồng nghiên cứu bằng cách cung cấp một khảo sát về công trình nghiên cứu trong học tăng cường cho việc tạo ra hành vi ở robot. Chúng tôi nhấn mạnh cả những thách thức chính trong học tăng cường cho robot cũng như những thành công đáng chú ý. Chúng tôi thảo luận về cách các đóng góp đã kiểm soát độ phức tạp của lĩnh vực này và nghiên cứu vai trò của các thuật toán, các biểu diễn, và kiến thức trước đó trong việc đạt được những thành công này. Do đó, một trọng tâm cụ thể của bài báo của chúng tôi nằm ở sự lựa chọn giữa phương pháp dựa trên mô hình và không dựa trên mô hình, cũng như giữa phương pháp dựa trên giá trị và tìm kiếm chính sách. Bằng cách phân tích một vấn đề đơn giản trong một số chi tiết, chúng tôi chứng minh cách mà các phương pháp học tăng cường có thể được áp dụng một cách có lợi, và chúng tôi lưu ý rằng trong suốt bài viết có nhiều câu hỏi còn mở và tiềm năng to lớn cho nghiên cứu trong tương lai.

Anthocyanins là một loại flavonoid có trong các loại trái cây và rau củ, tạo ra màu sắc từ đỏ tươi đến xanh lam cho chúng. Cho đến nay, đã có hơn 635 loại anthocyanins được xác định trong tự nhiên, với sáu loại cốt lõi phổ biến và nhiều kiểu glycosylation và acylation khác nhau. Sự tiêu thụ anthocyanins từ chế độ ăn uống cao hơn so với các flavonoid khác nhờ vào sự phân bố rộng rãi của chúng trong các vật liệu thực vật. Dựa vào nhiều nghiên cứu trên dòng tế bào, mô hình động vật và thử nghiệm lâm sàng trên người, đã được đưa ra gợi ý rằng anthocyanins có hoạt tính chống viêm và chống ung thư, phòng ngừa bệnh tim mạch, kiểm soát béo phì và làm giảm bệnh tiểu đường, tất cả đều ít nhiều liên quan đến đặc tính chống oxy hóa mạnh mẽ của chúng. Bằng chứng cho thấy sự hấp thu của anthocyanins xảy ra ở dạ dày và ruột non. Việc hấp thu vào mô biểu mô dường như rất hiệu quả, nhưng việc vận chuyển vào tuần hoàn, phân bố trong mô và thải ra qua nước tiểu lại rất hạn chế. Hoạt tính sinh học của anthocyanins khả dụng sinh học nên được tập trung nghiên cứu trong tương lai về các tác động tăng cường sức khỏe có khả năng của chúng.

Mục tiêu chính của nghiên cứu này là đánh giá và so sánh hiệu suất của các thuật toán học máy (ML) khác nhau, cụ thể là Mạng Nơron Nhân Tạo (ANN), Máy Học Tăng Cường (ELM) và thuật toán Cây Tăng Cường (Boosted), khi xem xét ảnh hưởng của các tỷ lệ đào tạo đối với kiểm tra trong việc dự đoán độ bền cắt của đất, một trong những tính chất kỹ thuật địa chất quan trọng nhất trong thiết kế và xây dựng công trình. Để thực hiện điều này, một cơ sở dữ liệu gồm 538 mẫu đất thu thập từ dự án nhà máy điện Long Phú 1, Việt Nam, đã được sử dụng để tạo ra các bộ dữ liệu cho quá trình mô hình hóa. Các tỷ lệ khác nhau (tức là 10/90, 20/80, 30/70, 40/60, 50/50, 60/40, 70/30, 80/20, và 90/10) đã được sử dụng để chia bộ dữ liệu thành bộ dữ liệu đào tạo và kiểm tra nhằm đánh giá hiệu suất của các mô hình. Các chỉ số thống kê phổ biến, chẳng hạn như Lỗi Bình Phương Trung Bình (RMSE), Lỗi Tuyệt Đối Trung Bình (MAE) và Hệ Số Tương Quan (R), đã được sử dụng để đánh giá khả năng dự báo của các mô hình dưới các tỷ lệ đào tạo và kiểm tra khác nhau. Ngoài ra, mô phỏng Monte Carlo đã được thực hiện đồng thời để đánh giá hiệu suất của các mô hình đề xuất, có tính đến ảnh hưởng của lấy mẫu ngẫu nhiên. Kết quả cho thấy mặc dù cả ba mô hình ML đều hoạt động tốt, nhưng ANN là mô hình chính xác nhất và ổn định nhất về mặt thống kê sau 1000 lần mô phỏng Monte Carlo (R Trung Bình = 0.9348) so với các mô hình khác như Boosted (R Trung Bình = 0.9192) và ELM (R Trung Bình = 0.8703). Điều tra về hiệu suất của các mô hình cho thấy khả năng dự báo của các mô hình ML bị ảnh hưởng lớn bởi các tỷ lệ đào tạo/kiểm tra, trong đó tỷ lệ 70/30 thể hiện hiệu suất tốt nhất của các mô hình. Một cách ngắn gọn, kết quả được trình bày ở đây thể hiện một cách thức hiệu quả trong việc lựa chọn các tỷ lệ dữ liệu phù hợp và mô hình ML tốt nhất để dự đoán chính xác độ bền cắt của đất, điều này sẽ hữu ích trong các giai đoạn thiết kế và kỹ thuật của các dự án xây dựng.

Nghiên cứu này đã điều tra khả năng của kính hiển vi huỳnh quang hình ảnh sợi (FCFM) trong việc cung cấp các quan sát vi mạch in vivo. FCFM được thiết kế đặc biệt cho việc quan sát in vivo in situ nhờ vào một đầu dò bao gồm một bó sợi và quang học vi mô có đường kính nhỏ tới 650 µm. Trong phần đầu của nghiên cứu, chúng tôi đã so sánh các đặc điểm chính của FCFM với kính hiển vi huỳnh quang nội sống (IFM). Một mẫu chuẩn cremaster của chuột đã được sử dụng làm cơ sở chung để cho phép hình ảnh bằng cả hai phương pháp. Chúng tôi đã thảo luận về tính khả thi của việc thu thập các phép đo định lượng thường được cung cấp bởi IFM trong bối cảnh của FCFM: đo đạc hình học, tính thấm mao mạch, mật độ mao mạch chức năng, hiệu ứng co và giãn mạch. Ngoài ra, khả năng quan sát các tế bào hồng cầu huỳnh quang hoặc bạch cầu cũng đã được đánh giá. Các vấn đề về độc tính quang học và những hạn chế của FCFM cũng đã được thảo luận. Chúng tôi đã chỉ ra rằng FCFM cho phép quan sát và đo lường thường được cung cấp bởi IFM và rằng khả năng quan sát theo thời gian thực của hệ thống, cùng với tính linh hoạt và đường kính nhỏ của đầu dò quang học cho phép tính vi xâm lấn và có thể mở rộng khả năng hình ảnh cho các quan sát in vivo in situ khi so với IFM.

Thiếu các liệu pháp điều trị hàng thứ hai cho ung thư buồng trứng tái phát cần thiết phải phát triển các liệu pháp kết hợp được cải thiện. Liệu pháp nhắm đích và liệu pháp miễn dịch mỗi loại đều mang lại lợi ích lâm sàng, mặc dù hạn chế khi làm liệu pháp đơn. Ung thư buồng trứng không đặc biệt nhạy cảm với sự chặn điểm kiểm soát miễn dịch, vì vậy việc kết hợp với liệu pháp bổ sung có thể có lợi. Các nghiên cứu gần đây đã tiết lộ rằng một chất ức chế methyltransferase DNA, azacytidine, làm thay đổi sự biểu hiện của các gen điều hòa miễn dịch trong ung thư buồng trứng. Trong nghiên cứu này, các tác động chống khối u của một chất ức chế methyltransferase DNA liên quan, decitabine (DAC), đã được chứng minh trong một mô hình ung thư buồng trứng ở chuột đồng huyết. Điều trị DAC liều thấp làm tăng sự biểu hiện của các chemokine thu hút tế bào NK và tế bào T CD8+, thúc đẩy sự sản xuất IFNγ và TNFα của chúng, và kéo dài sự sống của chuột mang khối u dưới da hoặc khối u tại chỗ. Mặc dù cả DAC và sự chặn điểm kiểm soát miễn dịch đều không mang lại phản ứng bền vững khi làm liệu pháp đơn trong mô hình này, hiệu quả của kháng thể chống–CTLA-4 đã được tăng cường khi kết hợp với DAC. Sự kết hợp này thúc đẩy sự phân hóa của các tế bào T chưa trưởng thành thành tế bào T hiệu ứng và kéo dài phản ứng của tế bào lymphocyte phá hủy cũng như sự sống sót của chuột. Những kết quả này gợi ý rằng liệu pháp kết hợp này có thể xứng đáng được xem xét thêm để cải thiện điều trị ung thư buồng trứng kháng thuốc.

Điện toán biên di động (MEC) mới đây nổi lên như một giải pháp đầy hứa hẹn nhằm giảm bớt gánh nặng cho các thiết bị di động có tài nguyên hạn chế khỏi các tác vụ yêu cầu tính toán nặng, cho phép các thiết bị gửi tải công việc đến các máy chủ MEC gần đó và cải thiện chất lượng trải nghiệm tính toán. Trong bài báo này, một hệ thống MEC hỗ trợ nhiều người dùng với đầu vào và đầu ra đa điểm (MIMO) với các kênh vô tuyến ngẫu nhiên và sự xuất hiện của tác vụ được xem xét. Để tối thiểu hóa chi phí tính toán trung bình lâu dài về mức tiêu thụ năng lượng và độ trễ bộ đệm ở mỗi người dùng, một chiến lược phân bổ tính toán động dựa trên học tăng cường sâu (DRL) được điều tra nhằm xây dựng một hệ thống có thể mở rộng với phản hồi hạn chế. Cụ thể, một phương pháp DRL dựa trên không gian hành động liên tục có tên là độ dốc chính sách xác định sâu (DDPG) được áp dụng để học các chính sách phân bổ tính toán phân tán tại mỗi người dùng tương ứng, trong đó năng lượng thực hiện cục bộ và tải công việc sẽ được phân bổ thích ứng theo quan sát địa phương của mỗi người dùng. Kết quả số cho thấy chiến lược dựa trên DDPG đề xuất có thể giúp mỗi người dùng học được một chính sách phân bổ động hiệu quả và cũng xác nhận tính ưu việt của khả năng phân bổ năng lượng liên tục của nó so với các chính sách được học bởi các phương pháp học tăng cường truyền thống dựa trên không gian hành động rời rạc như mạng Q sâu (DQN) cũng như một số chiến lược tham lam khác với chi phí tính toán giảm. Bên cạnh đó, sự trao đổi giữa năng lượng và độ trễ cho việc phân bổ tính toán cũng được phân tích cho cả các chiến lược dựa trên DDPG và DQN.

Trong thiết kế phân tử de novo, mạng nơ-ron hồi tiếp (RNN) đã được chứng minh là các phương pháp hiệu quả trong việc lấy mẫu và tạo ra các cấu trúc hóa học mới. Bằng cách sử dụng một kỹ thuật gọi là học tăng cường (RL), một RNN có thể được điều chỉnh để nhắm vào một phần cụ thể trong không gian hóa học với các thuộc tính mong muốn được tối ưu hóa thông qua một hàm điểm số. Tuy nhiên, các ligand được tạo ra bởi các phương pháp RL hiện tại thường có sự đa dạng tương đối thấp, và đôi khi thậm chí dẫn đến các cấu trúc trùng lặp khi tối ưu hóa về các thuộc tính mong muốn. Tại đây, chúng tôi đề xuất một phương pháp mới để giải quyết vấn đề đa dạng thấp trong RL cho thiết kế phân tử. Học tăng cường hỗ trợ bộ nhớ là một phần mở rộng của RL đã biết, với sự giới thiệu của một đơn vị bộ nhớ. Như một chứng minh khái niệm, chúng tôi đã áp dụng phương pháp của mình để tạo ra các cấu trúc có giá trị AlogP mong muốn. Trong một nghiên cứu trường hợp thứ hai, chúng tôi đã áp dụng phương pháp của mình để thiết kế các ligand cho thụ thể dopamine loại 2 và thụ thể 5-hydroxytryptamine loại 1A. Đối với cả hai thụ thể, một mô hình học máy đã được phát triển để dự đoán xem liệu các phân tử được tạo ra có hoạt động hay không đối với thụ thể. Trong cả hai nghiên cứu trường hợp, người ta phát hiện ra rằng học tăng cường hỗ trợ bộ nhớ đã dẫn đến việc tạo ra nhiều hợp chất được dự đoán là hoạt động có tính đa dạng hóa học cao hơn, do đó đạt được sự bao phủ tốt hơn của không gian hóa học của các ligand đã biết so với các phương pháp RL đã thiết lập.